Oldukça basit bir arka plan işleme yapmak için bir EC2 örneğine giden Celery ve Django ile RabbitMQ almaya çalışıyorum. Rabbitmq-server 2.5.0'ı büyük bir EC2 bulut sunucusunda çalıştırıyorum. Test istemcisini buradaki talimatlara göre indirip yükledim (sayfanın en altında). Test komut dosyasının gitmesine izin verdim ve beklenen çıktıyı alıyorum: tekrarlama hızı: 2350 msg / sn, min / ortalama / maks gecikme: 588078478/588352905/588588968 mikrosaniye tekrarlama hızı: 1844 msg / sn, min / ortalama / maks gecikme: 588589350/588845737/589195341 mikrosaniye tekrarlama hızı: 1562 msg / sn, min / ortalama / maks gecikme: 589182735/589571192/589959071 mikrosaniye tekrarlama hızı: 2080 msg / s, min / ortalama / maks gecikme: 589959557/590284302/590679611 mikrosaniye Sorun, inanılmaz miktarda CPU tüketmesidir: PID KULLANICI PR NI VIRT RES SHR S% CPU% MEM TIME + COMMAND 668 rabbitmq 20 0 618m 506m 2340 S 166 6.8 2: 31.53 beam.smp 1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java Daha önce bir mikro örnek üzerinde test ediyordum ve örnekteki tüm kaynakları tamamen tüketiyordu. Bunun olması bekleniyor muydu? Yanlış bir şey mi yapıyorum? Teşekkürler. Düzenle: Bu yazının asıl nedeni, kerevizin bir süre sorunsuz çalıştığı ve ardından aniden sistemdeki tüm kaynakları tükettiği görüldü. Rabbitmq yönetim araçlarını kurdum ve sıraların kerevizden ve rabbitmq test paketinden nasıl oluşturulduğunu araştırıyorum. Bana öyle geliyor ki kereviz bu kuyrukları öksüz bırakıyor ve gitmiyorlar. İşte test paketi tarafından oluşturulan sıra. Bir sıra oluşturulur ve tüm mesajlar onun içine girip çıkar: Celerybeat, görevi her çalıştırdığında yeni bir kuyruk oluşturur: Otomatik silme parametresini true olarak ayarlar, ancak bu kuyrukların ne zaman silineceğinden tam olarak emin değilim. Yavaş yavaş birikiyor ve kaynakları yiyor gibi görünüyorlar. Bir fikri olan var mı? Teşekkürler.
2021-01-29 08:18:39
Tamam, anladım. İşte ilgili dokümantasyon parçası: http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend Eski sonuçlar otomatik olarak temizlenmez, bu nedenle sonuçları tükettiğinizden emin olmalısınız, aksi takdirde kuyruk sayısı sonunda kontrolden çıkacaktır. RabbitMQ 2.1.1 veya üstünü çalıştırıyorsanız, kuyruklar için x-expires argümanından yararlanabilirsiniz, bu kuyruklar kullanılmadığında belirli bir süre sonunda sona erer. Kuyruk sona erme süresi CELERY_AMQP_TASK_RESULT_EXPIRES ayarıyla (varsayılan olarak etkin değildir) ayarlanabilir (saniye cinsinden). | Eric Conner'ın kendi sorununa yönelik çözümüne eklemek için http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices şunları belirtir: İstemediğiniz sonuçları göz ardı edin Bir görevin sonuçlarını önemsemiyorsanız, sonuçları depolamak zamanı ve kaynakları boşa harcayacağından ignore_result seçeneğini belirlediğinizden emin olun. @ app.task (ignore_result = Doğru) def mytask (…): bir şey () Sonuçlar CELERY_IGNORE_RESULT ayarı kullanılarak global olarak devre dışı bırakılabilir. Eric'in cevabıyla birlikte bu, muhtemelen sonuçlarınızı arka uçta yönetmek için minimum en iyi uygulamalardır. Bir sonuç arka ucuna ihtiyacınız yoksa, CELERY_IGNORE_RESULT ayarlayın veya hiç bir sonuç arka ucu ayarlamayın. Bir sonuç arka ucuna ihtiyacınız varsa, CELERY_AMQP_TASK_RESULT_EXPIRES'i kullanılmayan sonuçların birikmesine karşı korunacak şekilde ayarlayın. Belirli bir uygulama için buna ihtiyacınız yoksa yerel yoksaymayı yukarıdaki gibi ayarlayın. | senin cevabın StackExchange.ifUsing ("editor", function () { StackExchange.using ("externalEditor", function () { StackExchange.using ("parçacıklar", işlev () { StackExchange.snippets.init (); }); }); }, "kod parçacıkları"); StackExchange.ready (function () { var channelOptions = { etiketler: "" .split (""), id: "1" }; initTagRenderer ("". split (""), "" .split (""), channelOptions); StackExchange.using ("externalEditor", function () { // Snippet'ler etkinse, snippet'lerden sonra editörü çalıştırmanız gerekir if (StackExchange.settings.snippets.snippetsEnabled) { StackExchange.using ("parçacıklar", işlev () { createEditor (); }); } Başka { createEditor (); } }); function createEditor () { StackExchange.prepareEditor ({ useStacksEditor: false, heartbeatType: 'answer', autoActivateHeartbeat: yanlış, convertImagesToLinks: true, noModals: true, showLowRepImageUploadWarning: true, reputationToPostImages: 10, bindNavPrevention: true, postfix: "", imageUploader: { brandingHtml: "Destekleyen \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "yok \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414C.61182C47.4335 4.61182 4.67324 4.91628 46.7669 7.36433 48.0099 7.26993C48.9099 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cyol d = \" M32.492 10.14.94723.048 12.6954.0723.048 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5455 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "klip-kuralı =" çift = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.99 4.66231 4.5009 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.985.1321 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6325 25.6622 17.933524.13.9917 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.896.296 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.628.566 8.57809 4.899506.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9511V8.90741C9.915.97 7.58817 14.3365 67911 16.804579 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.900560 0.400291 1.87209 # 0.400291Ze c / a \ u003e ", contentPolicyHtml: "\ u003ca href =" https: //stackoverflow.com/help/licensing "\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =" https://stackoverflow.com / legal / altında lisanslanan kullanıcı katkıları içerik politikası \ "\ u003e (içerik politikası) \ u003c / a \ u003e", allowUrls: true }, onDemand: doğru, discardSelector: ".discard-answer" , hemenShowMarkdownHelp: true, enableTables: true, enableSnippets: true }); } }); Stack Overflow'a yanıt verdiğiniz için teşekkür ederiz! Lütfen soruyu yanıtladığınızdan emin olun. Ayrıntıları sağlayın ve araştırmanızı paylaşın! Ama kaçının ... Yardım istemek, açıklama yapmak veya diğer cevaplara cevap vermek. Görüşe dayalı açıklamalarda bulunmak; Bunları referanslarla veya kişisel deneyimlerle yedekleyin. Daha fazla bilgi edinmek için harika yanıtlar yazmaya ilişkin ipuçlarımıza bakın. Taslak kaydedildi Taslak silindi Kaydolun veya oturum açın StackExchange.ready (function () { StackExchange.helpers.onClickDraftSave ('# login-link'); }); Google kullanarak kaydolun Facebook kullanarak kaydolun E-posta ve Şifre kullanarak kayıt olun Sunmak Misafir olarak yayınlayın İsim E-posta adresi Gerekli ama asla gösterilmez StackExchange.ready ( function () { StackExchange.openid.initPostLogin ('. Yeni giriş sonrası', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-tüketim-ton-of-cpu% 23new-answer', ' soru_sayfa '); } ); Misafir olarak yayınlayın İsim E-posta adresi Gerekli ama asla gösterilmez Cevabınızı Gönderin At "Cevabınızı Gönderin" i tıklayarak hizmet şartlarımızı, gizlilik politikamızı ve çerez politikamızı kabul etmiş olursunuz Aradığın cevap değil mi? Django rabbitmq celery etiketli diğer sorulara göz atın veya kendi sorunuzu sorun.